InterA11y: Interactive Web Accessibility Error Detection with LLM Agents
InterA11y：基于 LLM 智能体的交互式网页可访问性错误检测
🧭 LLM Agent 结合 rubrics 与工具审计
University of Washington · Cornell University · Carnegie Mellon University
结合可测试规则分解与确定性交互工具，显著提升 LLM Agent 网页可访问性审计召回并保持高精度
📌 工作参考价值（4 点）
- 将复杂质量标准/规则分解为可测试的 rubrics，并由 agent 逐步收集证据，可用于商品信息合规审核、广告审核、推荐理由生成等场景，降低 agent 主观误判。
- 用确定性工具（如 DOM 检查、焦点/错误消息提取）替代或补充 LLM 直接推理，能减少 token 消耗和幻觉，提高 precision，在需要高准确率的业务（如广告审核、商品合规）可借鉴。
- 系统架构上采用 LLM 负责规划与证据解释、工具负责确定性检查，可隔离不同模型间的表现差异，推荐系统 agent 协同中也可采用同类混合架构。
- 评估方法上，用专家标注案例集对比召回/精度并关注跨模型一致性，对业务上线 agent 的评测与可信度验证有参考价值。